Năm 1992, ông tốt nghiệp Học viện Ngoại giao của Bộ Ngoại giao Nga. Ông đã thành thạo tiếng Hàn, và phục vụ trong vai trò khác nhau trong đại sứ quán Liên Xô ở Triều Tiên 1979 – 1984, và 1986 – 1991, trước khi đảm nhiệm chức Đại sứ Nga tại CHDCND Triều Tiên từ năm 2001 đến năm 2006[4]. Giữa năm 1992 và năm 1997, ông làm việc tại Đại sứ quán Nga tại Cộng hòa Dân chủ Nhân dân Triều Tiên.

Từ năm 2007 đến năm 2009, Karlov giữ chức Phó Cục trưởng Cục Lãnh sự Bộ Ngoại giao Nga. Ông được thăng chức giám đốc của bộ phận này trong tháng 1 năm 2009. Ông được bổ nhiệm làm đại sứ Thổ Nhĩ Kỳ vào tháng năm 2013.